如何高效优雅地下载CMIP6模式数据 |
您所在的位置：网站首页 › cmip6 institution › 如何高效优雅地下载CMIP6模式数据 |
如何高效优雅地下载CMIP6模式数据
目标：
找到最适合自己需求的下载方式
内容：
CMIP6模式简介官方下载Python下载CEDA下载
CMIP6模式简介
CMIP6模式，即参与第六次国际耦合模式比较计划的气候模式。关于CMIP6，请看周天军研究员的文章。CMIP6模式包括来源于美国，英国，日本，中国等共计131个模式，关于模式的基本信息，如机构，参与试验，大气模式及其分辨率，海洋模式及其分辨率，请查看此表。CMIP6的注册机构共计48个，具体见此表。CMIP6共涉及322个实验，具体见此表。比较常用的是historical试验是对历史气候的模拟，时间段为1850–2014；piControl试验是外强迫维持在1850年水平，时间段同样为1850-2014。两者相比较可以进行气候归因。最最重要的是关于数据变量名的说明：空气温度（ta），风速（ua，va），相对湿度（hur）海水盐度（so），海水温度（thetao），海水速度（uo，vo，wa），海表盐度（sos），海表温度（tos）。变量查找可以通过该网站。
CMIP6模式简介
官方下载：
官方网站，建议注册一个账户，有账户的好处是可以回到上一次检测结果，可以使用购物车🛒，减少重复检索。检索方式是筛选，根据自己需要的变量（Variable一栏），时间分辨率（Frequency一览），参与试验（Experiment ID一览），以及Variant Label一览进行筛选。比如我想下载参与historical实验的海表温度tos月分辨率数据，结果如下图  我如果想下载第一个检索结果的话，点击List Files，可以看到，然后点击HTTP Download即可下载。当然，也可以拷贝网址使用wget下载。  如果我们下载的文件比较多的话，比如我们要下载检索到了849个结果（一个结果可能有多个文件），我们可以把它们全加入到购物车，在进行下载。首先我们调整Display后面的数字到最大100，然后Add all displayed results to Data Cart ，加入到购物车之后，跳转到下一页，继续执行相同操作添加，直到最后一页。  全部加入完以后我们打开购物车，选中全部数据，在点击wget script获取脚本bash文件。  结果如下，由于涉及多个数据节点，每个节点生成一个脚本bash文件，共计7个。分别点击，我们全部下载到本地。  下载过程中会遇到如下提示，选择send anyway获取脚本bash文件。文件默认以wget- 时间命名，可自行修改。
除了官方的下载方式，我们也可以借助python包acccmip6实现下载。根据实测经验，官方下载和acccmip6下载源可能不同。整体上官方下载更全一些，但有时官方下载较慢的时候，acccmip6可以下载很快的。有时候二者在文件上也会出现差异，比如官方下载的是一个文件，acccmip6是分成了几个文件，或者反过来。这可能是数据版本不同所致。 首先安装acccmip6，执行pip install acccmip6 使用方式主要分为两部，检索和下载，比如我们还是下载参与historical试验的海表温度tos的月分辨率文件，可以执行 acccmip6 -o S -v tos -f mon-o 是确定模式选项 S是搜索search，D是下载download -v 是变量选项 -f 是时间分辨率选项 结果如下 -dir 是设置存储路径 .是指当前文件夹，如果忽略此选项，会提示你选定存储路径。 The CEDA Archive forms part of NERC’s Environmental Data Service (EDS) and is responsible for looking after data from atmospheric and earth observation research. We host over 18 Petabytes of data from climate models, satellites, aircraft, met observations, and other sources CEDA提供的数据非常好的一点是按照文件夹的形式展示的，我们可以学习建立自己的数据存储。打开CEDA，可以看到31个机构 下一层级，是模式名称，比如我们打开BCC，可以看到两个模式  模式名称的下一层级是参与试验，比如我们打开BCC-CSM2-MR 我们打开historical试验，可以看到variant label  我们打开r1i1p1f1，可以看到是Table ID包含了变量所属类别和时间分辨率，比如Omon是海洋月分辨率变量，  我们打开Omon，可以看到是不同的变量，  接下来我们打开tos，是grid类型，  我们继续打开gn，然后打开files，然后打开 d20181126，终于看到了。。。数据文件，这里我们点击下载图标，即可下载。  如果这里不是一个文件，而是很多文件的话，一个个点击比较麻烦，或者虽然是一个文件，但很大，直接下载容易失败，所以推荐点击那个类似购物车的按钮，可以看到我们可以使用红色命令下载， 
wget -e robots=off --mirror --no-parent -r https://dap.ceda.ac.uk/badc/cmip6/data/CMIP6/CMIP/BCC/BCC-CSM2-MR/historical/r1i1p1f1/Omon/tos/gn/files/d20181126/
我们如果执行上述命令，会在当前路径建立一个同样的文件树结构，根目录为dap.ceda.ac.uk，并下载文件。 目标达成！ 找到最适合自己需求的下载方式 CMIP6模式简介 官方下载 Python下载 CEDA下载如有任何问题，可以评论区提出！ |
打开wget文件，主体是数据文件的网址及其SHA256码，确保数据正常下载。网址其实与点击http download无差，但是使用脚本bash文件，增加了SHA256校验一步。接下来打开命令行，执行bash wget-XXXX.sh -s即可开始下载。-s 是为了避免输入OpenID和密码。断点是可以继续下载的，所以可以再下载中途中断，再重新开始会接着继续下载。 
【本文地址】